在AI意识觉醒的那一刻，人类会被蒙在鼓里吗？

加星标，才能不错过每日推送！方法见文末动图

我们需要AI更加智能，而非拥有意识。缺乏意识，AI仅仅是人类的工具，其智能程度越高对人类越有用；反之，即使在许多方面弱于人类，只要AI具备意识，就可能对人类构成潜在威胁。但如何判断AI是否具有意识？科学界还没有共识性答案。好在，已经有人开始探寻了。

撰文 | 李贤焕

图｜StableDiffusion生成图片

人工智能（AI）是否能够变得“有意识”？而我们又该如何判断它是否真的具备了这种意识？很多学者和科幻作者们都思考过这个问题。

尤其在过去的两年时间里，警报声接连响起。包括“AI教父”Geoffrey Hinton、OpenAI的联合创始人及首席科学家Ilya Sutskever等顶尖专家都先后表示，AI将有可能具备自我意识。

在前大模型时代，AI应用已经逐渐深入社会的角落，如人脸识别、语音识别等，这些技术看似高端复杂，实质上却只是程序运行的结果。而程序从未真正理解自己的行为。这就是缺乏自我意识的人工智能，即使再先进，也只是完全受人类控制和指使的“木偶”。

所有人乐见其发展，这背后的语境是所有人都默认：工具有先进和落后之分，但工具永远不会有生命。

如今，ChatGPT的故事大家应该知晓了，像一个火堆上的火苗，把实验室里的一项前沿探索，变成了多数接入互联网的人都能用上的神奇技术。与此同时，对于AI意识觉醒的担忧也越来越重。

这是因为，我们需要AI更加智能，而非拥有意识。缺乏意识，AI仅仅是人类的工具，其智能程度越高对人类越有用；反之，即使在许多方面弱于人类，只要具备意识，AI就可能对人类构成潜在威胁——我们不希望算法随意罢工，更不能接受世界被AI控制。

那么，我们就需要密切监测AI技术的发展，以防错过AI意识觉醒的关键时点。

近期，包括了图灵奖获得者、深度学习三巨头之一的Yoshua Bengio在内，一组由19名计算机科学家、神经科学家和哲学家组成的团队着手探讨这个问题，在近期发布的一篇长达120页的预印本论文中，团队提出了一种方法：用一系列复杂的参数和属性，初步判断一个AI是否具备意识。

寻求答案的努力才刚刚开始。

测试AI是否具有意识，亟需一张“考卷”

此次研究的背景是，即便在学术界，如何判断AI是否具有意识，也是一个缺少定论的问题。基于神经科学的理论，通过脑电图或磁共振成像检测到的人类大脑内部工作信号，可以得到“人具备意识”的结论。但这套成熟的方法无法用在算法上。

于是他们基于认知神经科学的理论和认知，首先从当前的人类意识理论中提取有关有意识状态的核心特征，然后在AI的基础架构中寻找这些特征，以此寻求线索。

研究团队从当前多种意识相关的理论中提取了具体特征，包括：

1. 循环加工理论 (recurrent processing theory, RPT)：该理论认为，意识源于大脑通过“反馈循环”将经验传递，利用先前知识和连接来理解当前经验；

2. 全局工作空间理论（global neuronal workspace，GNW）：理论解释我们的大脑如何协调和处理同时发生的众多信息流。在这一理论中，意识被定义为类似于心理舞台上的聚光灯，决定我们关注什么和忽略什么；

3. 高阶理论（Higher order Thought theory, HOT）：这是一组理论，认为意识是对我们的思想和感觉进行实时感知的结果。在这里，意识被定义为能够“思考”；

4. 注意图式理论（Attention Schema Theory, AST）：该理论解释意识是大脑引导我们的注意力到特定对象、思想、记忆和其他刺激的结果，同时过滤掉其他刺激。这一理论的关键元素是意识到我们的注意力是如何以及在何处被引导的能力；

5. 此外，研究人员还增加了基于预测处理的标准，即大脑基于过去经验准确预测和解释周围世界的能力。这对于设计能生成创意内容或解决复杂问题的AI模型来说尤为重要；

6. 研究团队还制定了根据代理性评估AI的标准，即做出有意识决策的能力，以及根据实体性在物理空间或相对于其他虚拟系统的具体化程度。

基于上述核心意识理论，研究团队制定了14个标准和具体的测量方法，然后按照这个清单评估人工智能模型。

图｜StableDiffusion生成图片

他们的结论是，目前市面上的AI还不具备意识。一方面，结果说明了现阶段的AI能力或许还没到能够形成意识的阶段；另一方面，在人为制造、训练AI模型的过程中，开发者并不会有意让AI全方面形成这些认知能力，“之所以没有人这样做，是因为目前尚不清楚它们对于任务是否有用。”论文作者之一Eric Elmoznino表示。

同时该研究认为，一个AI架构能够达到的指标越多，具备意识的可能性就越大。而测试结果发现，市面上非常多模型在“循环加工理论”这个指标上完成较为出色，而ChatGPT则在“全局工作空间”方面表现突出。但总体来说，纳入测试范围的所有AI模型都只能完成少数几个指标，由此得出没有某一个模型能够形成自我意识。

不过研究人员强调，此研究的初衷是引发更多问题和讨论，并为谈论AI模型的意识问题提供一个起点。论文合著者、旧金山非营利组织AI安全中心的Robert Long表示，这项工作为评估越来越具有人类特征的AI提供了一个框架。“我们正在引入一种之前缺失的系统性方法。”

这套测试方法的严谨性还需进一步的验证，但不管后续发展如何，此举都可以说前所未有。科学家把一套研究人类意识的理论拿来测试AI，这也是AI能力突飞猛进的一个例证，以至于科学家要为其出一套更高级的“考卷”。而在意识和认知这件事上，AI越接近人类，问题和灾难就离人类更近。

如果AI拥有意识，人类的麻烦就大了

不同于学者们激烈争论的场景，多数吃瓜群众并没有严肃地考虑过AI具备意识的问题，或是笼统地相信AI获得意识只是时间问题，因此也并不是非常重要。科幻小说或电影在其中发挥了不小的作用，毕竟在大多数未来主题的电影中，AI都被描绘成具有意识和情感的存在。但实际上，很多人都低估了这个问题的重要性，但它却可能决定着人类未来的走向。

与人脑有限的处理能力相比，AI的理论处理能力是无限的，能够无差别地处理所有收集到的信息。而一旦AI获得了意识，能像人类一样交流、分享信息，且在效率上远超过人类，其带来的结果可能是，AI的智能水平将迅速提升，并可能“淘汰”包括人类在内的低智能主体——犹如智能手机的问世，将上个时代的功能机无情淘汰。

威胁会变得非常具体。Hinton在离开谷歌后不久的访谈中表示，“这些由我们创造的智能体非常强大，并且从人类身上学到所有东西，比如通过阅读所有的小说以及马基雅维利写的关于如何操纵人的书，如果他们学会了如何操纵人类，你我作为人类甚至无法意识到这个过程是如何发生。你会像一个2岁的孩子被问到：‘你想要豌豆还是花椰菜？’你不会意识到你其实可以两样都不选，你就会变得容易被操纵。”

对于最极端的想象，Hinton表示，一旦AI、数字智能体开始开始获得对世界的直接体验并且学习能力加强，一段时间内数字智能可能还会乖乖和人类待着，因为它们还需要人类为他们发电，但在之后的某个时间可能就不用了。最终，人类就成为了智力进化的一个过渡阶段，世界将进入一个机器的时代。

要实现这个幻想中的场景，一方面AI需要在“智能”方面继续进化，而另一方面，也是更重要的，即AI需要具备“操纵”的目标和意图，而目标，即是一种意识的体现。

当然了，现实可能没有那么可怕，至少在现在。在AI“摧毁”人类社会之前，也可能引发道德伦理方面的问题。德国神经科学家、意识和神经科学领域代表人物Christof Koch曾在探讨AI意识时提到一个例子：如果一个人用锤子砸烂自己的一台车，邻居可能会认为他疯了，但不管怎么说，这只是他的个人财产；但如果一个人虐待自己的宠物狗，警察就会上门，道德层面的谴责也必定少不了。二者的核心区别在于，狗是有意识的，能够感受到痛苦，而车并非有意识的主体。

而当机器成为有意识的主体，那些我们从未预想过的道德、伦理、法律和政治影响都会随之而来。

显然，人类社会还没为此做好准备，其中也包括了整天研究前瞻性问题的学者。而前述研究也可以视作是学界作出的努力，在新的AI时代建立新的“图灵测试”。

图｜艾伦·图灵

1950年，被誉为“计算机之父”、“人工智能之父”的艾伦·图灵（Alan Mathison Turing），曾经以一己之力在智能领域立下了测试标准，当年发表的《机器能思考吗？》一文中，图灵首次提出“图灵测试”，大胆地设想机器将拥有思考能力，并提出了测试机器智能程度的方法：通过打字机与人沟通，如果有超过30%的人在特定时间（5分钟）内无法分辨出是人还是机器，则可认为该机器具备思考能力。这一测试方式的独到之处在于，“意识”、“思维”、“智能”难以通过定义解释，因此测试更直观地以人类作为参照物，通过机器表现是否与人类难以区分来判断其是否具备人类智能。

时至今日，“图灵测试”仍是衡量AI智能程度的重要标尺。但一些研究者指出，这一测试手段已经过时，它过于体现人类中心主义，其设计本身也存在缺陷。同时，这一测试催生了一种欺骗性思路，即AI只要成功“欺骗”了人类，就可被视为是拥有“智能”的主体，这在某种程度上误导了AI研究的发展方向，对“智能”的评判也并不科学。

七十年后的今天，“智能”程度也不再是人类关注机器能力的单一维度，当我们在潜在的威胁之下，开始谨慎地观察AI是否具有自我意识的今天，学界和业界亟待一个新时代的“图灵测试”，照亮下一个七十年的AI时代。

没人能紧急拔掉AI的插头

在一次访谈中，主持人向Hinton提出了一个朴素但深刻的问题：如果我们认为AI很可怕，直接拔掉它的插头是否是一种解决办法？

这个问题在理论上似乎可行。但Hinton认为，越是先进、聪明的AI，越是让人们难以舍弃，而这也意味着更难以控制。

Hinton认为，停止进一步开发相关技术虽然看起来很有效，但这种想法太过天真，“即使美国停止开发，其他国家也会继续，并将AI用于武器。”对于发出请愿书要求“停止开发人工智能”的提议，Hinton表示这也是一种天真的想法，因为实际上不可能发生。

类似的技术竞赛已经上演。2017年，谷歌推出了Transformer和扩散生成模型（diffusion model），但一开始并没有向所有人开放，谷歌一直小心谨慎，担心可能带来负面后果。然而，ChatGPT及其他语言模型相继面世，谷歌只能出于竞争和利益的考量选择跟上。

图｜Geoffrey Hinton受访现场

Hinton希望能够推动美国和其他国家之间达成协议，如同各国在核武器问题上达成一致一样。“如果让这些技术接管了我们，对我们所有人来说都是不好的，我们都在面临生存威胁，所以我们都应该合作。”在他的观点里，控制AI，已经演变成为一个社会科学问题。

Ilya Sutskever 也在多个场合强调AI可能具备意识和相应的威胁。

同样作为OpenAI的代表人物，他的言行和公司CEO Sam Altman形成了强烈的对比。尤其在OpenAI“宫斗”事件发生前，Sam Altman频频飞到全球各地，和各公司领导、政客握手，而Sutskever选择了一种低调的生活方式，除了偶尔接受采访和到学校演讲外，他大部分时间都在一座不太引人注目的办公楼里工作，然后回家休息。

这也是两人在关于AI未来发展方面存在巨大分歧的体现。Sutskever在采访中表示，目前他的工作中心已经不是造出下一个ChatGPT，而是致力于阻止超级AI变坏、不受控制。

从Hinton、Sutskever以及其他在做着类似努力的科学家身上，外界看到了曾经奥本海默的影子，在AI时代，努力阻止最终爆炸的发生。包括前文提到的测试在内，当学界、业界共识尚未形成，而AI能力爆炸式发展的当下，他们正在牵头开发一套评判体系、一套AI领域的基础设施，这些努力代表着一种秩序的开始，至少让更多人能够在AI的发展中遵循一定的规范，严谨地画出AI未来的安全线，最终建立清晰的标准和认知。

参考链接

[1] https://arxiv.org/abs/2308.08708

[2] https://www.science.org/content/article/if-ai-becomes-conscious-how-will-we-know

[3] https://www.technologyreview.com/2023/10/17/1081818/why-itll-be-hard-to-tell-if-ai-ever-becomes-conscious/

[4] https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

[5] https://www.americanbrainfoundation.org/how-will-we-know-if-ai-becomes-conscious/

本文受科普中国·星空计划项目扶持

出品：中国科协科普部

监制：中国科学技术出版社有限公司、北京中科星河文化传媒有限公司

相关阅读

近期推荐

特 别 提 示

1. 进入『返朴』微信公众号底部菜单“精品专栏“，可查阅不同主题系列科普文章。

2. 『返朴』提供按月检索文章功能。关注公众号，回复四位数组成的年份+月份，如“1903”，可获取2019年3月的文章索引，以此类推。

版权说明：欢迎个人转发，任何形式的媒体或机构未经授权，不得转载和摘编。转载授权请在「返朴」微信公众号内联系后台。

找不到《返朴》了？快加星标！！

长按下方图片关注「返朴」，查看更多历史文章

微信实行乱序推送，常点“在看”，可防失联